Overview of Gaussian process based multi-fidelity techniques with variable relationship between fidelities, application to aerospace systems

International audienceThe design process of complex systems such as new configurations of aircraft or launch vehicles is usually decomposed in different phases which are characterized by the depth of the analyses in terms of number of design variables and fidelity of the physical models. At each phase, the designers have to deal with accurate but computationally intensive models as well as cheap but inaccurate models. Multi-fidelity modeling is a way to merge different fidelity models to provide engineers with accurate results with a limited computational cost. Within the context of multi-fidelity modeling, approaches based on Gaussian Processes emerge as popular techniques to fuse information between the different fidelity models. The relationship between the fidelity models is a key aspect in multi-fidelity modeling. This paper provides an overview of Gaussian process-based multi-fidelity modeling techniques for variable relationship between the fidelity models (e.g., linearity, non-linearity, variable correlation). Each technique is described within a unified framework and the links between the different techniques are highlighted. All approaches are numerically compared on a series of analytical test cases and four aerospace related engineering problems in order to assess their benefits and disadvantages with respect to the problem characteristics

Multi-fidelity modeling with different input domain definitions using Deep Gaussian Processes

Multi-fidelity approaches combine different models built on a scarce but accurate data-set (high-fidelity data-set), and a large but approximate one (low-fidelity data-set) in order to improve the prediction accuracy. Gaussian Processes (GPs) are one of the popular approaches to exhibit the correlations between these different fidelity levels. Deep Gaussian Processes (DGPs) that are functional compositions of GPs have also been adapted to multi-fidelity using the Multi-Fidelity Deep Gaussian process model (MF-DGP). This model increases the expressive power compared to GPs by considering non-linear correlations between fidelities within a Bayesian framework. However, these multi-fidelity methods consider only the case where the inputs of the different fidelity models are defined over the same domain of definition (e.g., same variables, same dimensions). However, due to simplification in the modeling of the low-fidelity, some variables may be omitted or a different parametrization may be used compared to the high-fidelity model. In this paper, Deep Gaussian Processes for multi-fidelity (MF-DGP) are extended to the case where a different parametrization is used for each fidelity. The performance of the proposed multifidelity modeling technique is assessed on analytical test cases and on structural and aerodynamic real physical problems

Multi-Objective Multidisciplinary Design Optimization Approach for Partially Reusable Launch Vehicle Design

International audienceReusability of the first stage of launch vehicles may offer new perspectives to lower the cost of payload injection into orbit if sufficient reliability and efficient refurbishment can be achieved. One possible option that may be explored is to design the vehicle first stage for both reusable and expendable uses, in order to increase the flexibility and adaptability to different target missions. This paper proposes a multilevel multidisciplinary design optimization (MDO) approach to design aerospace vehicles addressing multimission problems. The proposed approach is focused on the design of a family of launchers for different missions sharing commonalities using multi-objective MDO to account for the computational cost associated with the discipline simulations. The multimission problem addressed considers two missions: 1) a reusable configuration for a sun synchronous orbit with a medium payload range and recovery of the first stage using a gliding-back strategy; 2) an expendable configuration for a medium payload injected into a geostationary transfer orbit. A dedicated MDO formulation introducing couplings between the missions is proposed in order to efficiently solve such a coupled problem while limiting the number of calls to the exact multidisciplinary analysis thanks to the use of Gaussian processes and multi-objective efficient global optimization

Surrogate model-based multi-objective MDO approach for partially Reusable Launch Vehicle design

International audienceReusability of the first stage of launch vehicles may offer new perspectives to lower the cost of payload injection into orbit if sufficient reliability and low refurbishment costs can be achieved. One possible option that may be explored is to design the launch vehicle first stage for both reusable and expendable uses, in order to increase the flexibility and adaptability to different target missions. This paper proposes a multi-level MDO approach to design aerospace vehicles addressing multi-mission problems. The proposed approach is focused on the design of a family of launchers for different missions sharing commonalities using multi-objective Bayesian Optimization to account for the computational cost associated with the discipline simulations. The multi-mission problem addressed in this paper considers two missions: a reusable configuration for a SSO orbit with a medium payload range and recovery of the first stage using a glider strategy; and an expendable configuration for a medium payload injected into a Geostationary Transfer Orbit (GTO). A dedicated MDO formulation introducing couplings between the missions is proposed in order to efficiently solve the multi-objective MDO problem while limiting the number of calls to the exact MDA thanks to the use of Gaussian Processes and multi-objective Efficient Global Optimization

Efficient Global Optimization using Deep Gaussian Processes

International audienceEfficient Global Optimization (EGO) is widely used for the optimization of computationally expensive black-box functions. It uses a surrogate modeling technique based on Gaussian Processes (Kriging). However, due to the use of a stationary covariance, Kriging is not well suited for approximating non stationary functions. This paper explores the integration of Deep Gaussian processes (DGP) in EGO framework to deal with the non-stationary issues and investigates the induced challenges and opportunities. Numerical experimentations are performed on analytical problems to highlight the different aspects of DGP and EGO

Processus gaussiens profonds pour l’analyse et l’optimisation des systèmes complexes : application à la conception des systèmes aérospatiaux

In engineering, the design of complex systems, such as aerospace launch vehicles, involves the analysis and optimization of problems presenting diverse challenges. Actually, the designer has to take into account different aspects in the design of complex systems, such as the presence of black-box computationally expensive functions, the complex behavior of the optimized performance (e.g., abrupt change of a physical property here referred as non-stationarity), the multiple objectives and constraints involved, the multi-source information handling in a multi-fidelity framework, and the epistemic and aleatory uncertainties affecting the physical models. A wide range of machine learning methods are used to address these various challenges. Among these approaches, Gaussian Processes (GPs), benefiting from their Bayesian and non-parametric formulation, are popular in the literature and diverse state-of-the-art algorithms for the design of complex systems are based on these models.Despite being widely used for the analysis and optimization of complex systems, GPs, still present some limitations. For the optimization of computationally expensive functions, GPs are used within the Bayesian optimization framework as regression models. However, for the optimization of non-stationary problems, they are not suitable due to the use of a prior stationary covariance function. Furthermore, in Bayesian optimization of multiple objectives, a GP is used for each involved objective independently, which prevents the exhibition of a potential correlation between the objectives. Another limitation occurs in multi-fidelity analysis where GP-based models are used to improve high-fidelity models using low-fidelity information. However, these models usually assume that the different fidelity input spaces are identically defined, which is not the case in some design problems.In this thesis, approaches are developed to overcome the limits of GPs in the analysis and optimization of complex systems. These approaches are based on Deep Gaussian Processes (DGPs), the hierarchical generalization of Gaussian processes.To handle non-stationarity in Bayesian optimization, a framework is developed that couples Bayesian optimization with DGPs. The inner layers allow a non-parametric Bayesian mapping of the input space to better represent non-stationary functions. For multi-objective Bayesian optimization, a multi-objective DGP model is developed. Each layer of this model corresponds to an objective and the different layers are connected with undirected edges to encode the potential correlation between objectives. Moreover, a computational approach for the expected hyper-volume improvement is proposed to take into account this correlation at the infill criterion level as well. Finally, to address multi-fidelity analysis for different input space definitions, a two-level DGP model is developed. This model allows a joint optimization of the multi-fidelity model and the input space mapping between fidelities.The different approaches developed are assessed on analytical problems as well as on representative aerospace vehicle design problems with respect to state-of-the-art approaches.En ingénierie, la conception de systèmes complexes, tels que les lanceurs aérospatiaux, implique l'analyse et l'optimisation de problèmes présentant diverses problématiques. En effet, le concepteur doit prendre en compte différents aspects dans la conception de systèmes complexes, tels que la présence de fonctions coûteuses en temps de calcul et en boîte noire , la non-stationnarité des performances optimisées, les multiples objectifs et contraintes impliqués, le traitement de multiples sources d’information dans le cadre de la multi-fidélité, et les incertitudes épistémiques et aléatoires affectant les modèles physiques. Un large éventail de méthodes d'apprentissage automatique est utilisé pour relever ces différents défis. Dans le cadre de ces approches, les processus Gaussiens, bénéficiant de leur formulation Bayésienne et non paramétrique, sont populaires dans la littérature et divers algorithmes d'état de l'art pour la conception de systèmes complexes sont basés sur ces modèles.Les processus Gaussiens, bien qu'ils soient largement utilisés pour l'analyse et l'optimisation de systèmes complexes, présentent encore certaines limites. Pour l'optimisation de fonctions coûteuses en temps de calcul et en boite noire, les processus Gaussiens sont utilisés dans le cadre de l'optimisation Bayésienne comme modèles de régression. Cependant, pour l'optimisation de problèmes non stationnaires, les processus Gaussiens ne sont pas adaptés en raison de l'utilisation d'une fonction de covariance stationnaire. En outre, dans l'optimisation Bayésienne multi-objectif, un processus Gaussien est utilisé pour chaque objectif indépendamment des autres objectifs, ce qui empêche de prendre en considération une corrélation potentielle entre les objectifs. Une autre limitation existe dans l'analyse multi-fidélité où des modèles basés sur les processus Gaussiens sont utilisés pour améliorer les modèles haute fidélité en utilisant l'information basse fidélité, cependant, ces modèles supposent généralement que les différents espaces d'entrée de fidélité sont définis de manière identique, ce qui n'est pas le cas dans certains problèmes de conception.Dans cette thèse, des approches sont développées pour dépasser les limites des processus Gaussiens dans l'analyse et l'optimisation de systèmes complexes. Ces approches sont basées sur les processus Gaussiens profonds, la généralisation hiérarchique des processus Gaussiens.Pour gérer la non-stationnarité dans l'optimisation bayésienne, un algorithme est développé qui couple l'optimisation bayésienne avec les processus Gaussiens profonds. Les couches internes permettent une projection Bayésienne non paramétrique de l'espace d'entrée pour mieux représenter les fonctions non stationnaires. Pour l'optimisation Bayésienne multiobjectif, un modèle de processus Gaussien profond multiobjectif est développé. Chaque couche de ce modèle correspond à un objectif et les différentes couches sont reliées par des arrêtes non orientés pour coder la corrélation potentielle entre objectifs. De plus, une approche de calcul de l'expected hyper-volume improvement est proposée pour prendre également en compte cette corrélation au niveau du critère d'ajout de point. Enfin, pour aborder l'analyse multi-fidélité pour différentes définitions d'espace d'entrée, un modèle de processus gaussien profond à deux niveaux est développé. Ce modèle permet une optimisation conjointe du modèle multi-fidélité et du mapping entre les espaces d'entrée des différentes fidélités.Les différentes approches développées sont évaluées sur des problèmes analytiques ainsi que sur des problèmes de conception de véhicules aérospatiaux et comparées aux approches de l'état de l'art

Processus Gaussiens Profonds pour l’Analyse et l’Optimisation des Systèmes Complexes - Application à la Conception des Systèmes Aérospatiaux

In engineering, the design of complex systems, such as aerospace launch vehicles, involves the analysis and optimization of problems presenting diverse challenges. Actually, the designer has to ake into account different aspects in the design of complex systems, such as the presence of black-box computationally expensive functions, the complex behavior of the optimized performance (e.g., abrupt change of a physical property here referred as nonstationarity), the multiple objectives and constraints involved, the multi-source information handling in a multi-fidelity framework, and the epistemic and aleatory uncertainties affecting the physical models. A wide range of machine learning methods are used to address these various challenges. Among these approaches, Gaussian Processes (GPs), benefiting from their Bayesian and non-parametric formulation, are popular in the literature and diverse state-of-the-art algorithms for the design of complex systems are based on these models.Despite being widely used for the analysis and optimization of complex systems, GPs, still present some limitations. For the optimization of computationally expensive functions, GPs are used within the Bayesian optimization framework as regression models. However, for the optimization of non-stationary problems, they are not suitable due to the use of a prior stationary covariance function. Furthermore, in Bayesian optimization of multiple objectives, a GP is used for each involved objective independently, which prevents the exhibition of a potential correlation between the objectives. Another limitation occurs in multi-fidelity analysis where GP-based models are used to improve high-fidelity models using low-fidelity information. However, these models usually assume that the different fidelity input spaces are identically defined, which is not the case in some design problems.In this thesis, approaches are developed to overcome the limits of GPs in the analysis and optimization of complex systems. These approaches are based on Deep Gaussian Processes (DGPs), the hierarchical generalization of Gaussian processes.To handle non-stationarity in Bayesian optimization, a framework is developed that couples Bayesian optimization with DGPs. The inner layers allow a non-parametric Bayesian mapping of the input space to better represent non-stationary functions. For multi-objective Bayesian optimization, a multi-objective DGP model is developed. Each layer of this model corresponds to an objective and the different layers are connected with undirected edges to encode the potential correlation between objectives. Moreover, a computational approach for the expected hyper-volume improvement is proposed to take into account this correlation at the infill criterion level as well. Finally, to address multi-fidelity analysis for different input space definitions, a two-level DGP model is developed. This model allows a joint optimization of the multi-fidelity model and the input space mapping between fidelities.The different approaches developed are assessed on analytical problems as well as on representative aerospace vehicle design problems with respect to state-of-the-art approaches.En ingénierie, la conception de systèmes complexes, tels que les lanceurs aérospatiaux, implique l’analyse et l’optimisation de problèmes présentant diverses problématiques. En effet, le concepteur doit prendre en compte différents aspects dans la conception de systèmes complexes, tels que la présence de fonctions coûteuses en temps de calcul et en boîte noire , la non-stationnarité des performances optimisées, les multiples objectifs et contraintes impliqués, le traitement de multiples sources d’information dans le cadre de la multi-fidélité, et les incertitudes épistémiques et aléatoires affectant les modèles physiques. Un large éventail de méthodes d’apprentissage automatique est utilisé pour relever ces différents défis. Dans le cadre de ces approches, les Processus Gaussiens (PGs), bénéficiant de leur formulation Bayésienne et non paramétrique, sont populaires dans la littérature et divers algorithmes d’état de l’art pour la conception de systèmes complexes sont basés sur ces modèles.Les PGs, bien qu’ils soient largement utilisés pour l’analyse et l’optimisation de systèmes complexes, présentent encore certaines limites. Pour l’optimisation de fonctions coûteuses en temps de calcul et en boite noire, les PGs sont utilisés dans le cadre de l’optimisation Bayésienne comme modèles de régression. Cependant, pour l’optimisation de problèmes non stationnaires, les PGs ne sont pas adaptés en raison de l’utilisation d’une fonction de covariance stationnaire. En outre, dans l’optimisation Bayésienne multi-objectif, un PG est utilisé pour chaque objectif indépendamment des autres objectifs, ce qui empêche de prendre en considération une corrélation potentielle entre les objectifs. Une autre limitation existe dans l’analyse multi-fidélité où des modèles basés sur les PGs sont utilisés pour améliorer les modèles haute fidélité en utilisant l’information basse fidélité, cependant, ces modèles supposent généralement que les différents espaces d’entrée de fidélité sont définis de manière identique, ce qui n’est pas le cas dans certains problèmes de conception.Dans cette thèse, des approches sont développées pour dépasser les limites des PGs dans l’analyse et l’optimisation de systèmes complexes. Ces approches sont basées sur les Processus Gaussiens Profonds (PGPs), la généralisation hiérarchique des PGs.Pour gérer la non-stationnarité dans l’optimisation bayésienne, un algorithme est développé qui couple l’optimisation bayésienne avec les PGPs. Les couches internes permettent une projection Bayésienne non paramétrique de l’espace d’entrée pour mieux représenter les fonctions non stationnaires. Pour l’optimisation Bayésienne multiobjectif, un modèle de PGPs multiobjectif est développé. Chaque couche de ce modèle correspond à un objectif et les différentes couches sont reliées par des arrêtes non orientés pour coder la corrélation potentielle entre objectifs. De plus, une approche de calcul de l’expected hyper-volume improvement est proposée pour prendre également en compte cette corrélation au niveau du critère d’ajout de point. Enfin, pour aborder l’analyse multi-fidélité pour différentes définitions d’espace d’entrée, un PGP à deux niveaux est développé. Ce modèle permet une optimisation conjointe du modèle multi-fidélité et du mapping entre les espaces d’entrée des différentes fidélités. Les différentes approches développées sont évaluées sur des problèmes analytiques ainsi que sur des problèmes de conception de véhicules aérospatiaux et comparées aux approches de l’état de l’art

Processus Gaussiens Profonds pour l’Analyse et l’Optimisation des Systèmes Complexes - Application à la Conception des Systèmes Aérospatiaux

In engineering, the design of complex systems, such as aerospace launch vehicles, involves the analysis and optimization of problems presenting diverse challenges. Actually, the designer has to ake into account different aspects in the design of complex systems, such as the presence of black-box computationally expensive functions, the complex behavior of the optimized performance (e.g., abrupt change of a physical property here referred as nonstationarity), the multiple objectives and constraints involved, the multi-source information handling in a multi-fidelity framework, and the epistemic and aleatory uncertainties affecting the physical models. A wide range of machine learning methods are used to address these various challenges. Among these approaches, Gaussian Processes (GPs), benefiting from their Bayesian and non-parametric formulation, are popular in the literature and diverse state-of-the-art algorithms for the design of complex systems are based on these models.Despite being widely used for the analysis and optimization of complex systems, GPs, still present some limitations. For the optimization of computationally expensive functions, GPs are used within the Bayesian optimization framework as regression models. However, for the optimization of non-stationary problems, they are not suitable due to the use of a prior stationary covariance function. Furthermore, in Bayesian optimization of multiple objectives, a GP is used for each involved objective independently, which prevents the exhibition of a potential correlation between the objectives. Another limitation occurs in multi-fidelity analysis where GP-based models are used to improve high-fidelity models using low-fidelity information. However, these models usually assume that the different fidelity input spaces are identically defined, which is not the case in some design problems.In this thesis, approaches are developed to overcome the limits of GPs in the analysis and optimization of complex systems. These approaches are based on Deep Gaussian Processes (DGPs), the hierarchical generalization of Gaussian processes.To handle non-stationarity in Bayesian optimization, a framework is developed that couples Bayesian optimization with DGPs. The inner layers allow a non-parametric Bayesian mapping of the input space to better represent non-stationary functions. For multi-objective Bayesian optimization, a multi-objective DGP model is developed. Each layer of this model corresponds to an objective and the different layers are connected with undirected edges to encode the potential correlation between objectives. Moreover, a computational approach for the expected hyper-volume improvement is proposed to take into account this correlation at the infill criterion level as well. Finally, to address multi-fidelity analysis for different input space definitions, a two-level DGP model is developed. This model allows a joint optimization of the multi-fidelity model and the input space mapping between fidelities.The different approaches developed are assessed on analytical problems as well as on representative aerospace vehicle design problems with respect to state-of-the-art approaches.En ingénierie, la conception de systèmes complexes, tels que les lanceurs aérospatiaux, implique l’analyse et l’optimisation de problèmes présentant diverses problématiques. En effet, le concepteur doit prendre en compte différents aspects dans la conception de systèmes complexes, tels que la présence de fonctions coûteuses en temps de calcul et en boîte noire , la non-stationnarité des performances optimisées, les multiples objectifs et contraintes impliqués, le traitement de multiples sources d’information dans le cadre de la multi-fidélité, et les incertitudes épistémiques et aléatoires affectant les modèles physiques. Un large éventail de méthodes d’apprentissage automatique est utilisé pour relever ces différents défis. Dans le cadre de ces approches, les Processus Gaussiens (PGs), bénéficiant de leur formulation Bayésienne et non paramétrique, sont populaires dans la littérature et divers algorithmes d’état de l’art pour la conception de systèmes complexes sont basés sur ces modèles.Les PGs, bien qu’ils soient largement utilisés pour l’analyse et l’optimisation de systèmes complexes, présentent encore certaines limites. Pour l’optimisation de fonctions coûteuses en temps de calcul et en boite noire, les PGs sont utilisés dans le cadre de l’optimisation Bayésienne comme modèles de régression. Cependant, pour l’optimisation de problèmes non stationnaires, les PGs ne sont pas adaptés en raison de l’utilisation d’une fonction de covariance stationnaire. En outre, dans l’optimisation Bayésienne multi-objectif, un PG est utilisé pour chaque objectif indépendamment des autres objectifs, ce qui empêche de prendre en considération une corrélation potentielle entre les objectifs. Une autre limitation existe dans l’analyse multi-fidélité où des modèles basés sur les PGs sont utilisés pour améliorer les modèles haute fidélité en utilisant l’information basse fidélité, cependant, ces modèles supposent généralement que les différents espaces d’entrée de fidélité sont définis de manière identique, ce qui n’est pas le cas dans certains problèmes de conception.Dans cette thèse, des approches sont développées pour dépasser les limites des PGs dans l’analyse et l’optimisation de systèmes complexes. Ces approches sont basées sur les Processus Gaussiens Profonds (PGPs), la généralisation hiérarchique des PGs.Pour gérer la non-stationnarité dans l’optimisation bayésienne, un algorithme est développé qui couple l’optimisation bayésienne avec les PGPs. Les couches internes permettent une projection Bayésienne non paramétrique de l’espace d’entrée pour mieux représenter les fonctions non stationnaires. Pour l’optimisation Bayésienne multiobjectif, un modèle de PGPs multiobjectif est développé. Chaque couche de ce modèle correspond à un objectif et les différentes couches sont reliées par des arrêtes non orientés pour coder la corrélation potentielle entre objectifs. De plus, une approche de calcul de l’expected hyper-volume improvement est proposée pour prendre également en compte cette corrélation au niveau du critère d’ajout de point. Enfin, pour aborder l’analyse multi-fidélité pour différentes définitions d’espace d’entrée, un PGP à deux niveaux est développé. Ce modèle permet une optimisation conjointe du modèle multi-fidélité et du mapping entre les espaces d’entrée des différentes fidélités. Les différentes approches développées sont évaluées sur des problèmes analytiques ainsi que sur des problèmes de conception de véhicules aérospatiaux et comparées aux approches de l’état de l’art